Ước lượng hợp lý cực đại của các tham số

Giả sử

X 1 , … , X n {\displaystyle X_{1},\dots ,X_{n}}

độc lập thống kê và mỗi biến đều có phân phối chuẩn với kì vọng μ và phương sai σ2. Theo ngôn ngữ thống kê, các giá trị quan trắc của các biến ngẫu nhiên này tạo thành một "mẫu từ tổng thể có phân phối chuẩn". Ta cần ước lượng "trị trung bình của tổng thể μ và độ lệch chuẩn của tổng thể σ, dựa trên các giá trị quan sát được của mẫu. Hàm mật độ xác suất liên hiệp của các biến ngẫu nhiên này là:

f ( x 1 , … , x n ; μ , σ ) ∝ σ − n ∏ i = 1 n exp ⁡ ( − 1 2 ( x i − μ σ ) 2 ) . {\displaystyle f(x_{1},\dots ,x_{n};\mu ,\sigma )\propto \sigma ^{-n}\prod _{i=1}^{n}\exp \left({-1 \over 2}\left({x_{i}-\mu \over \sigma }\right)^{2}\right).}

(Chú ý: Ở đây ký hiệu tỉ lệ ∝ {\displaystyle \propto } có nghĩa là tỉ lệ như một hàm của μ {\displaystyle \mu } và σ {\displaystyle \sigma } , chứ không phải tỉ lệ như một hàm của x 1 , … , x n {\displaystyle x_{1},\dots ,x_{n}} . Điểu này có thể xem như là điểm khác biệt giữa quan điểm của các nhà thống kê và nhà xác suất. Lý do về tầm quan trọng của điểm khác nhau này sẽ được đề cập dưới đây.)

Hàm hợp lý - một hàm của μ và σ là

L ( μ , σ ) ∝ σ − n exp ⁡ ( − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 ) . {\displaystyle L(\mu ,\sigma )\propto \sigma ^{-n}\exp \left({-\sum _{i=1}^{n}(x_{i}-\mu )^{2} \over 2\sigma ^{2}}\right).}

Trong phương pháp hợp lý cực đại, các giá trị của μ và σ làm cho hàm hợp lý đạt cực đại sẽ cho ta các giá trị của ước lượng các thông số μ và σ của tổng thể.

Thông thường trong khi cực đại hóa một hàm 2 biến ta có thể xét các đạo hàm riêng. Nhưng ở đây ta sẽ khai thác một đặc điểm là giá trị của μ làm cực đại hóa hàm hợp ký với σ là cố định, không phụ thuộc vào σ. Do đó, ta có thể tìm giá trị của μ, sau đó thay thế nó vào trong phương trình hợp lý, để cuối cùng thu được giá trị của σ làm cực đại biểu thức tìm được.

Rõ ràng là hàm hợp ký là một hàm giảm của tổng

∑ i = 1 n ( x i − μ ) 2 . {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}.\,\!}

Do đó ta muốn giá trị của μ làm cực tiểu hóa tổng này. Đặt:

x ¯ = ( x 1 + ⋯ + x n ) / n {\displaystyle {\overline {x}}=(x_{1}+\cdots +x_{n})/n}

là "trị trung bình mẫu". Nhận thấy

∑ i = 1 n ( x i − μ ) 2 = ∑ i = 1 n ( ( x i − x ¯ ) + ( x ¯ − μ ) ) 2 {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}=\sum _{i=1}^{n}((x_{i}-{\overline {x}})+({\overline {x}}-\mu ))^{2}} = ∑ i = 1 n ( x i − x ¯ ) 2 + 2 ∑ i = 1 n ( x i − x ¯ ) ( x ¯ − μ ) + ∑ i = 1 n ( x ¯ − μ ) 2 {\displaystyle =\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+2\sum _{i=1}^{n}(x_{i}-{\overline {x}})({\overline {x}}-\mu )+\sum _{i=1}^{n}({\overline {x}}-\mu )^{2}} = ∑ i = 1 n ( x i − x ¯ ) 2 + 0 + n ( x ¯ − μ ) 2 . {\displaystyle =\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+0+n({\overline {x}}-\mu )^{2}.}

Chỉ có số hạng cuối phụ thuộc vào μ và nó được cực tiểu hóa bằng

μ ^ = x ¯ . {\displaystyle {\widehat {\mu }}={\overline {x}}.}

Đó là ước lượng hợp lý cực đại của μ. Khi ta thay thế giá trị này cho μ trong hàm hợp lý, ta nhận được:

L ( x ¯ , σ ) ∝ σ − n exp ⁡ ( − ∑ i = 1 n ( x i − x ¯ ) 2 2 σ 2 ) . {\displaystyle L({\overline {x}},\sigma )\propto \sigma ^{-n}\exp \left({-\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2} \over 2\sigma ^{2}}\right).}

Ta quy ước ký hiệu hàm "log hợp lý", nghĩa là, logarit của hàm hợp lý, bằng một chữ ℓ {\displaystyle \ell } thường, và ta có

ℓ ( μ ^ , σ ) = [ c o n s t a n t ] − n log ⁡ ( σ ) − ∑ i = 1 n ( x i − x ¯ ) 2 2 σ 2 {\displaystyle \ell ({\widehat {\mu }},\sigma )=[\mathrm {constant} ]-n\log(\sigma )-{\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2} \over 2\sigma ^{2}}}

và sau đó

∂ ∂ σ ℓ ( μ ^ , σ ) = − n σ + ∑ i = 1 n ( x i − x ¯ ) 2 σ 3 = − n σ 3 ( σ 2 − 1 n ∑ i = 1 n ( x i − x ¯ ) 2 ) . {\displaystyle {\partial \over \partial \sigma }\ell ({\widehat {\mu }},\sigma )={-n \over \sigma }+{\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2} \over \sigma ^{3}}={-n \over \sigma ^{3}}\left(\sigma ^{2}-{1 \over n}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right).}

Đạo hàm này dương, bằng 0, hoặc âm tùy thuộc vào σ2 nằm giữa 0 và

1 n ∑ i = 1 n ( x i − x ¯ ) 2 , {\displaystyle {1 \over n}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2},}

hoặc bằng đại lượng đó, hoặc lớn hơn đại lượng đó.

Kết quả là trị trung bình của bình phương các sai số là một ước lượng hợp lý cực đại của σ2, và căn bậc hai của nó là ước lượng hợp lý cực đại của σ. Ước lượng này là một ước lượng chệch, nhưng có một sai số căn quân phương nhỏ hơn so với ước lượng không chệch, vốn là n/(n − 1) lần ước lượng trên.

Điều khái quát gây ngạc nhiên

Đạo hàm của ước lượng hợp lý cực đại của ma trận hiệp phương sai của một phân phối đa biến chuẩn rất khó nhận ra. Nó liên quan đến định lý phổ và lý do có thể coi một đại lượng vô hướng như là vết của ma trận 1×1 hơn là chỉ một biến vô hướng. Xem thêm cách xác định các ma trận hiệp phương sai.

Ước lượng không chệch của các tham số

Ước lượng hợp lý cực đại cho tổng thể đồng nghĩa với việc μ {\displaystyle \mu } của một mẫu là một ước lượng không chệch của trị trung bình, và phương sai cũng vậy. Tuy nhiên điều đó chỉ có được khi trị trung bình của tổng thể đã được biết trước. Thực tế ta chỉ có một mẫu lấy từ tổng thể, và không hề có thông tin gì về trị trung bình cũng như phương sai của tổng thể. Trường hợp này ước lượng không chệch của phương sai σ 2 {\displaystyle \sigma ^{2}} là:

S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ¯ ) 2 . {\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}.}

"Phương sai mẫu" này tuân theo phân phối Gamma nếu như tất cả các biến ngẫu nhiên X đều có dạng phân phối giống nhau và độc lập với nhau:

S 2 ∼ Gamma ⁡ ( n − 1 2 , 2 σ 2 n − 1 ) . {\displaystyle S^{2}\sim \operatorname {Gamma} \left({\frac {n-1}{2}},{\frac {2\sigma ^{2}}{n-1}}\right).}